AIptent-logo

一种针对同步辐射实验大容量数据的即时压缩技术——将 SPring-8 数据压缩到其原始大小的 1/8600

 

↓↓↓文章末尾获取原文链接↓↓↓

 

AIpatent.gif

本文1948字,阅读约需6分钟

摘   要:利用FPGA数据处理板上的可重写半导体电路(FPGA),在数据生成后立即对每个像素进行预处理,并结合无损压缩,即在不丢失原始数据的情况下实现精确恢复的压缩方法,实现了平均约1/8600的超高压缩率。

关键词:数据压缩、同步辐射实验、即时压缩、可重写半导体电路(FPGA)

 

研究小组开发出可对同步辐射实验中X射线图像探测器输出的大容量数据进行实时压缩的数据处理平台,已在大型同步辐射设施“SPring-8”上完成搭建并投入使用。

本研究开发的数据处理平台是支撑“SPring-8-II”等下一代同步辐射设施的核心基础技术,这类设施预计将产生艾字节(EB,约等于10亿GB)的存储设备的数据量级的数据。此外,该技术也有望发展成为支撑广泛测量领域中大容量数据处理的基础技术。

在本研究对象——伽马射线准弹性散射(QEGS)实验中,一台拥有84万像素的CITIUS探测器以17.4千赫兹(kHz)的频率运行。此时探测器每秒产生27吉字节(GB,1GB=10亿字节)的数据,一周内即可达到约19拍字节(PB,约等于百万GB,相当于1000台1TB存储设备的数据量)。

研究小组利用FPGA数据处理板上的可重写半导体电路(FPGA),在数据生成后立即对每个像素进行预处理,并结合无损压缩,即在不丢失原始数据的情况下实现精确恢复的压缩方法,实现了平均约1/8600的超高压缩率。压缩后的数据自动传输至设施内数据中心,通过高性能计算机并行分析,用户可在实验过程中确认分析结果并优化测量条件。

 

10.jpg

装有FPGA数据处理板的计算机

 

表情
Ctrl + Enter